Brooke sinh tại Bandel, gần Calcutta, tiểu bang Bengal,[2] song được rửa tội tại Secrole, một khu ngoại ô của Varanasi. Cha là Thomas Brooke, làm thẩm phán tòa phúc thẩm người Anh tại Bareilly, Ấn Độ thuộc Anh; mẹ là Anna Maria, quê ở Hertfordshire, con gái của Thượng tá người Scotland tên là William Stuart. Stuart được phong Huân tước Blantyre thứ chín, có tình nhân là Harriott Teasdale, người sinh ra Anna Maria.

Brooke sống với cha mẹ ở Ấn Độ cho đến năm 12 tuổi thì sang Anh theo học một thời gian ngắn tại Trường Norwich, sau học ở nhà ở Bath có thày dạy kèm. Khi sắp đáp thuyền về Ấn Độ năm 1819 thì Brooke mang lon thiếu úy trong Lục quân Bengal của Công ty Đông Ấn Anh. Về tới Ấn Brooke được phái lên Assam trong cuộc Chiến tranh Anh-Miến thứ nhất rồi vì trọng thương năm 1825 nên được đưa về Anh dưỡng bệnh. Năm 1830, ông trở về Madras song quá trễ để tái nhập đơn vị nên từ chức. Ông bèn quành lại Anh sau khi ghé Trung Hoa.